上下文即基础设施:面向带Harness的Agent系统检索的知识编译
🧭 Agentic RAG 的知识编译与检索纪律 ★ 深度解读
InfiniFlow Inc. · East China Normal University
在Agentic检索中,把文档编译为声明-证据叶子可让命中token省91%、平均省38%,盈亏平衡充分率仅2%
📌 工作参考价值(4 点)
- 在Agentic检索/问答栈中,优先用BM25+grep+LLM harness做检索控制,不必引入向量索引;论文实测加dense leg反而降准确率,可降低系统复杂度和索引成本。
- 对电商商品描述、政策文档、广告素材库等需要精确引用的场景,可仿照claim-evidence编译:用轻量模型抽取“声明+逐字证据span+源偏移”,召回后替换整chunk进上下文;命中节省91% token,未命中仅多1.9%,平均38%,适合token敏感的大规模Agent系统。
- 增加决策gate(轻量决策模型)判断证据充分性,拒绝则丢弃整个块而不是塞入prompt;可显著降低端到端延迟(140s→30s),但token节省以检索轮次为代价,需在延迟和成本间权衡。
- 结构化的RAPTOR/PageIndex/wiki/graph等artifact在强harness下对准确率无增益甚至负收益,不应作为召回卖点;应把它们当作治理/审计/跨源集成工具,用独立ledger(如审计覆盖率、集成成功率)评估,而不是benchmark准确率。
多智能体接力思考框架
🧭 多智能体接力协作优化
Zhejiang University · Nanyang Technological University · The University of Hong Kong
提出置信度引导的多智能体接力协作框架 MACR,动态转移推理权,在保持精度下大幅降低 token 开销
📌 工作参考价值(4 点)
- 在电商 Agent 工作流中,可以将多步推理任务(如商品卖点提炼、广告文案生成、query 意图改写)从“多 Agent 并行讨论再聚合”改为“接力式串行 refinement”,每个节点基于置信度决定是否继续、由哪个专职 Agent 接手,能显著降低 token 消耗,适合高并发在线服务。
- 借鉴 MACR 的 bidding 机制:为不同能力 Agent 设置轻量置信度打分器,在推理阶段动态选择下一步执行者,而不是固定 pipeline,这能提升异构模型组合的鲁棒性。
- 置信度引导的 relay triggering 可用于推荐解释生成或搜索排序后文案生成:当当前生成结果置信度低于阈值时再触发下一轮精炼,避免无意义重写,节省 LLM 调用成本。
- 主要学术贡献在于多智能体拓扑结构与协作效率,业务迁移时需注意:置信度估计本身可能引入额外开销,建议在关键高价值链路(如广告创意生成)而非全链路铺开。
当 Agent 失败:归咎于模型还是执行框架?
🧭 Agent 执行框架评估与匹配
Shanghai Artificial Intelligence Laboratory
提出模型-执行框架匹配度评估框架,发现无单一最佳组合,OpenCode 跨模型最稳
📌 工作参考价值(4 点)
- 选型 Agent 执行框架时,不要只看最终任务分数,建议同时监控 VCR(有效完成率)和 Token Load,避免高分数掩盖高失败率或高 token 浪费。
- 不同模型适配不同 harness:内部构建 Agent 平台时,可以为每个主力模型分别评测 harness 的 Model-Harness Fit,而不是统一采用一个“最佳”框架。
- 在电商搜索/推荐 Agent 场景中,大量交互式工具调用和长上下文任务会放大模型-框架不匹配问题,可引入 Interaction Residuals 定位具体哪个组合在哪些步骤频繁失败。
- Token Load 包含失败尝试,适合作为成本控制指标:当框架重试机制激进时,即使任务最终成功,也可能消耗数倍 token,影响线上性价比。
HarnessMM:通过守卫决策复用与递归自改进提升 Agent 工具链 Token 效率
🧭 Agent 工具链推理复用与配置自改进
Tsinghua University · Microsoft Research Asia
用守卫决策复用替换工具反馈后的重复推理回调,不改模型权重即可降低Agent harness token成本
📌 工作参考价值(3 点)
- 在电商/导购类 Agent 中,工具返回收据后若满足预设 guard(如价格、库存未变),直接用缓存的动作参数继续执行,避免重复调用 LLM;把“已解析的工具调用”做成可执行决策图,存字面参数与依赖,工程上可大幅省 token。
- 引入 Certified Callback Substitution:在模型-工具边界注册回调替换时,保留原生接口并记录删除慢回调,新语义或证据不足就回退原模型,实践中保障效果不下降。
- 借鉴 RSI:固定模型权重,用训练/评估反馈迭代优化 harness 配置(守卫阈值、缓存策略),验证集选优,能以低成本对线上 agent 配置做自动调参。
TRACER:面向 LLM Agent 的轨迹感知工具检索
🧭 Agent 工具检索与轨迹条件化 ★ 深度解读
Microsoft
利用历史工具调用轨迹的 trie 索引和状态自适应双先验混合,在保持准确率的同时大幅降低工具选择上下文成本
📌 工作参考价值(5 点)
- 在电商客服 Agent 中,可将历史成功调用轨迹构建为 trie,按当前执行前缀(如已调用 get_user_details)约束下一步候选工具,把工具选择从独立检索变为序列预测,减少无关工具干扰。
- 对每个转移边存储历史对话嵌入,计算当前上下文与该嵌入的 cosine 相似度,能区分描述相似但用途不同的工具(例如退货标签 vs 退货操作),避免模型误选危险操作。
- 使用轻量线性头学习每个状态的混合权重 w 和温度 T,动态调节经验先验(转移频率)与上下文先验(语义相似度)的重要性,比固定权重(如 α=0.5)更鲁棒,尤其适合工具分布不均匀的注册表。
- 若注册表中存在大量与状态无关的通用工具(如 KB_search、grep),可引入一个小型全局工具集 G(按前缀熵选取 top 工具)作为兜底,能显著提升召回。
- 工程实现上,trie 索引和边记忆查询开销极低,可完全离线构建,在线只需前缀查找和点积计算,适合大规模工具注册表的高并发场景。
一日合成十年:从人本软件演化构建 Agent 原生接口
🧭 LLM Agent 接口设计与评估
Independent Researcher · LIGHTSPEED
提出 DeskIF-Bench 基准并依据可发现性、粒度、可观察性合成原子接口,提升 LLM Agent 桌面任务成功率并降低约73% token 消耗
📌 工作参考价值(4 点)
- 业务中构建 Agent 操作内部系统(如广告投放、推荐配置后台)时,不要直接让 Agent 调用低层 SDK 或点击 GUI,而是抽象出“原子操作”(如设置预算、创建计划、查询报表)并组合成“目标级命令”(如“暂停超预算广告”),可显著提高成功率并降低 token 消耗(论文中约降低 73%)。
- 设计给 Agent 使用的工具/API 时,重点优化三个属性:可发现性(discoverability)——让 Agent 能快速找到可用操作;粒度(granularity)——操作粒度与任务目标匹配,避免过细或过粗;可观察性(observability)——返回结构化、明确的状态反馈,便于 Agent 决策。这些属性可通过轨迹分析识别。
- 评估 Agent 在不同版本或不同工具接口下的表现时,可借鉴“固定任务、Agent、验证器,只改变接口”的对照方法,定量归因接口设计的影响,指导内部工具迭代。
- 若在电商搜索推荐中引入 Agent 调用推荐引擎或搜索服务,可提供高层命令式接口(如“重排序候选集”),而非暴露底层模型推理细节,提高 Agent 决策效率。
无状态语言智能体:扩展长程自动化研究
🧭 长程 AutoResearch 无状态多智能体框架 ★ 深度解读
Stanford University · Carnegie Mellon University · University of Washington · SambaNova Systems · UC Berkeley
无状态 Agent + 有状态 harness:每次调用重建角色化上下文,用更少 token 实现更强长程搜索
📌 工作参考价值(4 点)
- 构建长程 Agent 系统(自动实验、策略搜索、query 迭代等)时采用“stateful harness + stateless agents”:候选、分数、日志放外部状态,每次调用只注入角色相关摘要,不要让 agent 携带完整历史滚动,避免 context rot 和 token 浪费。
- 对规划者与执行者做角色化上下文隔离:中央规划者看全局结构化 evidence summary,执行单元只看自己的 assignment、本地候选和反馈。搜索推荐 Agent 里可对应“策略器”与“渠道/实验执行器”,减少互相干扰和重复实验。
- 给执行单元显式任务分配,而不是只共享记忆;论文 ablation 显示没有 assignment 时并行 Workers 会重复实现同一功能。多 Agent 做选品、文案、素材生成时,应由 coordinator 把“该试什么”变成具体实验。
- 评估 Agent 系统至少按多个 token 预算点报告;短预算可能逆转方法排名。内部评估搜索/推荐 Agent 如果只跑短预算,很可能选错架构。协调器可以非常便宜(<0.6% tokens),强 Advisor + 弱 Worker 在部分任务上更划算。
更少 Token 更好行动:成功率升 14%、Token 省 65% 的机器人 Agent
🧭 VLM Agent 代码执行与选择性观察
Peking University · National University of Singapore · NVIDIA · Impossible Research
PyRUA-Lean 用代码执行+选择性观察,同等调用预算下成功率 63.1%→71.7%,Token 省 65%
📌 工作参考价值(4 点)
- 用 Python 代码块代替多轮 tool-calling:将多个工具调用组合成可执行 cell,包含条件判断和局部重试,减少 LLM 往返;在电商 Agent 中可把「查询商品→筛选→比价→生成文案」编码为模板化代码,LLM 只填参数。
- 选择性观察:不让 Agent 每次接收完整环境状态/全部候选商品,而是显式请求所需字段(价格、库存、历史行为),降低输入 token;类似 RAG 按需取上下文。
- 局部重试机制:在代码块内处理可预见失败(API 超时、无搜索结果、价格变动)而不回传 LLM,只在需要重新规划时才调用 LLM,可显著降低调用次数。
- 同等调用预算下提升成功率:省下的 token 可用于更多次 LLM 调用或更复杂规划,在固定成本内提升推荐/搜索效果。
VLM 长文档问答流水线的实证研究
🧭 长文档 VLM QA 流水线实证
Amazon
图像检索 top-k 页面输入是 token 效率与准确率均衡选择,Agent 收益随 VLM 规模增大才显现
📌 工作参考价值(4 点)
- 在商品详情、说明书、财报等多模态长文档处理中,优先尝试图像 embedding 检索 top-k 页面/区块而不是全量文本入库,token 可降到全页输入的 1/7 到 1/4,且准确率不降反升。
- Agent 工具调用(page/table/figure/search)不是小模型的免费午餐:Qwen3.5-4B/9B 上落后静态页面输入,27B 才持平,Sonnet 4.5 才领先。实际选型时先评估静态管道,再决定是否把预算花在 agentic 流程上。
- 文本检索侧一个现成 cross-encoder rerank 就能匹配很重的多阶段 LLM 管道,工程上可用轻量 reranker 替代 LLM 重排,节省成本和延迟。
- 最强流水线之间互补,oracle 路由能提升约13点,但证据类型路由几乎无效;说明自动路由很难,可先通过人工分析问题类型或构建更强路由特征,不要盲目上路由模型。
SoL-Pi:递归扩展自动研究循环,打造高效 Agent Harness
🧭 Agent harness 层 token 效率优化
NVIDIA · NTU · MIT
在 harness 层递归搜索自动研究循环,保留四种 token 效率机制,性能不变但成本降约三分之一
📌 工作参考价值(4 点)
- 上下文压缩可迁移到多轮推荐 Agent:Online Context Compact 与 Evidence-Preserving Reducer 的思路能直接用于电商对话推荐或搜索 Agent 的长对话历史管理,保留关键商品/用户意图证据,削减冗余交互,降低推理 token 与延迟。
- Action Fusion 减少工具调用开销:在 Agent 需要多次调用商品检索、库存查询、价格比较等 API 时,将多个小操作合并为一次批量执行,可以显著减少重复上下文注入,节省成本;对广告投放 Agent 的多步出价查询也有参考价值。
- ObservationPack 打包观测结果:让 Agent 一次接收多个工具返回的结构化摘要而非逐条处理,可以提升上下文利用率,适合高吞吐的搜索/推荐实时决策场景。
- 递归自我改进的 harness 搜索思想:可以在业务 Agent 流水线上自动探索 token 效率优化配置(如提示压缩、工具调用顺序),用离线环境评估成本与效果,实现自动降本,不必手工调优。
当智能体减速:通过每 token Elo 分析理解 LLM 智能体的测试时策略
🧭 Agent 测试时计算缩放分析
UC Berkeley · University of Washington · Princeton University · Bespoke Labs
提出 Elo-per-token 分析量化 LLM Agent 测试时计算缩放,发现边际收益递减且拆分并行预算更优
📌 工作参考价值(4 点)
- 对搜索/推荐 Agent 的多步推理或工具调用,可以用 Elo-per-token 曲线监控 token 投入的边际收益,而不是只看最终指标;在边际收益低于独立采样参考线时及时停止或调整策略。
- 独立采样参考线是简单有效的 baseline:如果 Agent 的规划、反思、工具调用不能稳定跑赢重复采样,说明额外复杂度没有带来 token 效率,可考虑简化 Agent 流程或增加采样并行度。
- 利用 scaling inflection point 分配长任务预算:将总 token 预算拆成多个并行 sessions 可能比一个超长 session 获得更高 Elo,对线上高并发 Agent 服务的请求拆分和成本控制有直接指导意义。
- Bradley-Terry 聚合跨任务分数排序的方法可以迁移到电商多指标评估,处理不同 reward 尺度下的成对比较,适合离线评测 Agent 生成物品文案、搜索 query 等开放任务。
LiteRAG:高效图检索增强生成方法
🧭 图 RAG 低成本高效检索
Universitat Rovira i Virgili
用查询条件算法探索替代检索时 LLM 控制,显著降低图 RAG 多跳问答延迟与成本
📌 工作参考价值(4 点)
- 在电商知识库/政策规则/商品图谱等多跳问答场景,可把图检索中的在线 LLM 遍历或总结改为查询条件驱动的确定性算法,先做子图探索再构造上下文,避免每 query 调大模型,显著降本。
- 上下文不要塞入整个相关子图,而是按证据链/推理链选择边和节点;用 query-adaptive thresholding 动态控制保留范围,能减少大量无效 token,尤其适合店铺/商品/规则相关问答。
- 对图谱中的高连接度 hub 节点(如平台总则、大品牌/大店铺)做 community-aware 惩罚,降低宽泛上下文对生成的干扰;在电商商品知识图谱或活动规则图谱里可借鉴。
- 对已经上线 GraphRAG 的团队,可先审计在线路径;把 LLM 从 query-time 关键路径移除,换为轻量算法,往往比换生成模型或复杂索引收益更大。
TRIAGE:三级路由与轨迹复用实现高效 Agent 执行
🧭 LLM Agent 轨迹复用与三级路由降本 ★ 深度解读
China Telecom Cloud, Beijing, China
用历史执行轨迹做语义路由与技能化复用,在 1007 条查询上降低 62.3% token 消耗
📌 工作参考价值(4 点)
- 把高频参数化查询做成 0 token 的 Skill 复用:对电商 BI、客服诊断、广告投放 Agent 里反复出现的“改参数不换结构”查询,可以用 embedding 阈值 + 参数抽取 + 模板替换,绕过 LLM 生成 SQL/工具调用;本质是带参数替换的语义 cache,比 GPTCache 更细粒度。
- 路由策略要看 overhead / execution cost 比值:文中 ablation 很直接:LLM router 每条约 224 token 的路由开销,导致整体反而 -37.3% savings;在单条 SQL 生成成本约 197 token 时,zero-cost 阈值路由完胜。迁移到业务时,若单次 Agent 任务成本很高(长上下文、多步工具编排),才值得上 LLM router;低成本的 query 类场景千万不要用 LLM 做路由。
- 用 LLM feedback 自举参数抽取规则:L2 参数替换时,遇到轻量归一化无法解释的差异,再调一次 LLM 判定是否是参数变化,并把结果注册成正则规则;后续同类参数可以 0 token 处理。这个机制很适合商品名、类目、时间窗口等高频可变参数的电商 query。
- 在线冷启动路径可以直接抄:无预训练、无人工标注,前 100 条 query 内 L2 命中从 0 到 57%;适合内部 dashboard、监控告警、运营取数 Agent 上线。但要注意文中提到的 error propagation,自动提取的 Skill 需要加正确性校验或执行后验证,不能直接推全量。
奖励引导的自回归图生成实现高效多智能体通信拓扑设计
🧭 奖励引导的多智能体拓扑生成优化 ★ 深度解读
University of Luxembourg · King Mongkut's University of Technology Thonburi
在ARG-Designer基础上引入奖励引导训练和图级奖励模型,生成更稀疏多智能体拓扑,平均降token 20.5%且保持精度
📌 工作参考价值(4 点)
- 在需要多 agent 协作的业务流程(如搜索意图拆解、选品+文案+审核 pipeline)中,可直接复用「生成拓扑 + 奖励模型 + Best-of-N 选择」的架构:用已有正确/错误执行记录训练 reward model,在线采样多个候选拓扑选 reward 最高者执行,额外开销很小,但能显著降低 token 成本。
- 奖励函数设计采用层级权重:任务完成(0.6) > agent 数量(0.3) > 边数量(0.1),且各项归一化到 [0,1],保证正确性优先;对于有明确监督信号、可验证结果的业务任务(如多步骤排序、问答、代码生成)可直接套用这种 scalar reward。
- 用 GNN(GraphSAGE)编码拓扑结构:节点特征拼接角色 embedding + query embedding + 结构特征,训练出的 reward model 可跨任务/跨角色共享,新 agent role 无需重新训练生成器,适合多业务域快速迁移。
- 推理阶段引入 Best-of-N 采样选图,只增加拓扑设计器的采样和打分开销,相比 LLM 调用成本可忽略;对高 QPS、成本敏感的场景,这是很实际的 token 节省手段。
FlowEvo:工作流与可执行技能共演化的自进化智能体
🧭 Agent 自进化 · 工作流与技能共演化 ★ 深度解读
Southeast University · Rensselaer Polytechnic Institute · The Hong Kong University of Science and Technology
训练免更新框架,将成功工作流编译为可执行技能,并在推理时通过直接复用或技能条件生成持续提升智能体能力
📌 工作参考价值(4 点)
- 在导购/客服/搜索推荐 Agent 中,把验证通过的会话或工具调用轨迹编译为带接口与测试的技能条目,而不是仅存 prompt 文本;可显著降低重复探索的 token 成本,适合高并发商品推荐、Query 改写等场景。
- 采用「动态生成 / 直接执行 / 技能条件化生成」三级路由,并设直接执行失败自动回退;可嵌入商品属性抽取、推荐解释、营销文案生成等 workflow,结构化任务优先走缓存式执行。
- 用对比式效用追踪(compare skill applied vs withheld)做负迁移治理:对 prompt 版本、策略技能、推荐模板做持续 AB 式统计,低于阈值自动降权/停用,防止线上记忆库被低质量经验污染。
- 该框架在可验证信号(结构化 action、code、math)下更稳,对无明确 reward 的开放对话需谨慎;其「小模型受益大」结论可用于低资源场景,用记忆库补偿模型能力。
图像比Token更高效:VLM降低推理能耗同时提升时序异常检测精度
🧭 VLM用于数值时序的Token高效推理
Ericsson
将时间序列转为2D图表输入VLM,减少3.6-10.4倍输入Token,推理能耗降1.8-2.5倍且精度大幅提高
📌 工作参考价值(4 点)
- 电商/广告系统的实时监控指标(如QPS、转化率时序)可转为图表输入VLM做异常检测或根因分析,避免原始数值Token爆炸,显著降低成本。
- 在多模态Agent架构中,可将结构化数据(如分日报表、A/B测试指标序列)先渲染为图像,再交给VLM做语义推理,突破纯文本上下文窗口限制。
- 该思路可推广至需要处理大量连续数值特征的推荐/搜索模型辅助分析场景(如Embedding漂移监控),用VLM替代纯文本LLM实现能耗和可扩展性平衡。
- 微调VLM时,图表+自然语言指令的混合提示设计值得借鉴:保留时间趋势的视觉先验,让语言模型聚焦语义判断,可能迁移到广告素材效果分析或用户行为序列理解。
搜索、检查、提取:利用结构化布尔检索提升深度研究智能体
🧭 搜索智能体 · 结构化布尔检索与选择性获取
The University of Queensland · CSIRO
SIEVE 通过布尔查询语言实现网页结构感知的按需抓取,较传统全文检索减少 20-50% 上下文 Token 并提升准确率
📌 工作参考价值(4 点)
- 在电商搜索 Agent 或多轮导购场景,可借鉴结构化字段过滤:仅提取商品标题、关键属性或指定评论片段,避免整页全量输入 LLM,大幅节省 Token。
- 实现类 BQL 的轻量查询接口,让 Agent 通过约束式语法精准筛选候选(如“标题含‘夏季’且价格低于 100”),提升检索意图对齐度。
- 先检索列表展示结构化摘要(inspect),再按需提取详情(fetch)的模式,适合需要从大量商品中逐步筛选的对话式推荐 Agent,有效控制上下文长度与成本。
- 该方法与底层检索器(BM25/向量检索)及 LLM backbone 解耦,可快速集成到现有搜索推荐系统的 Agent 管道中,工程实现成本低。
Agentic 上下文管理:将 Agent 内存与成本作为生命周期和架构问题解决
🧭 Agent 上下文生命周期管理与成本控制
提出 Agentic 上下文管理五原语(架构、摄入、范围界定、预判、压缩与巩固),将上下文从存储问题重构成全生命周期,实现了线性 token 成本且精度不降
📌 工作参考价值(4 点)
- 上下文生命周期管理思路可直接落地:电商对话推荐 Agent 常因长对话历史丢失关键偏好,借鉴五原语(特别是 scoping 与 anticipating)能主动选择当前轮次相关上下文,避免历史淹没关键信号。
- Token 成本工程价值高:论文揭示 naive 上下文累积导致 token 成本平方增长,仅用摘要则精度断崖。业务中可采用 验证性压缩(validated compaction)技术,在保持线性成本的同时保留召回精度,对高频对话系统降本明显。
- 多租户上下文服务化:参考 Maximem Synap 的多租户实现,搜索/推荐 Agent 可将上下文管理抽象为独立服务,支持组织级层次结构,便于电商平台同时服务多个商家或频道。
- 跨会话记忆与遗忘机制:跨会话的 ingesting 与 consolidation 原语可用来构建用户长期偏好记忆,同时通过遗忘陈旧信息防止上下文膨胀,适合需要多轮交互的导购 Agent。
Mach-Mind-4-Flash:35B MoE模型通过后训练比肩百B级性能
🧭 Agent后训练与强化学习优化 ★ 深度解读
Li Auto Inc.
35B MoE仅3B激活参数,通过多专家RL与MOPD蒸馏融合,在Agent基准上超越10-30倍激活参数的大模型
📌 工作参考价值(4 点)
- 多专家在线蒸馏(MOPD):为电商搜索推荐中的多目标(如点击率、转化率、多样性)独立训练RL专家,再通过MOPD路由融合到单个轻量模型,避免多目标奖励混合导致的指标跷跷板效应,且新增目标只需注册新教师,零代码侵入。
- 奖励课程设计:在稀疏奖励场景(如长周期转化)借鉴两阶段课程,先用过程奖励(中间行为反馈)冷启动,再切换到最终结果奖励,解决强化学习冷启动困难。
- Token效率优化(HMPO):对于推荐系统对话Agent或生成式推荐中的过长推理链,可引入基于自适应长度预算的强化学习压缩,在保证推荐质量前提下降低推理成本,实现19-46%的文本压缩且精度损失≤0.7%。
- 环境扩展(EnvScaling):为Agent训练构建可执行验证的环境池(如文件系统、状态模拟等),可迁移至电商场景,用于模拟用户端到端的操作路径,生成高难度、可验证的决策轨迹,驱动深度搜索或购物Agent的强化学习优化。
注入还是导航?交易法律文档LLM分析的令牌高效检索
🧭 RAG检索策略比较与效率优化
Syntheia Pty Ltd
比较全量注入、嵌入检索与LLM导航索引,证明检索可大幅降低token消耗且质量不降
📌 工作参考价值(4 点)
- 结构感知分块(structure-aware chunking):对电商中的长文档(商品说明书、合同、政策)进行结构分块,避免全文注入,大幅降低推理成本,可迁移到产品FAQ或合规文档问答。
- 嵌入检索+重排序管道:嵌入检索(NAVEMBED)配合重排序能在长文档QA中达到与全量注入几乎相当的质量,同时输入token减少17⁻30倍,适合构建低延迟、低成本的商品知识库检索。
- 紧凑结构化索引与LLM导航:对于成本敏感的Query改写或推荐解释生成,借用LLM导航结构化索引(NAVINDEX)的思路,用极轻量的索引替代大段文本,使回答上下文减少约56倍,成本降低25%。
- 缓存交叉规则:论文导出的封闭解可用于决策何时缓存全量文档更划算,可借鉴到广告素材库或推荐理由生成等有固定语料的场景,指导缓存策略以优化总成本。
Ling 和 Ring 2.6:万亿参数级高效即时代理智能
🧭 Agent 高效训练与推理优化
Inclusion AI
通过架构升级、混合线性注意力及强化学习框架实现高效推理与代理能力的万亿参数模型家族
📌 工作参考价值(4 点)
- 长上下文推理效率:混合线性注意力(Lightning Attention + MLA)可大幅降低长序列(如用户行为序列、多轮对话)的预填充和解码延迟,直接适用于电商搜索/推荐系统的实时重排序或解释生成场景。
- Token 效率优化:最短正确响应蒸馏和双向偏好对齐能训练模型用更少 token 提供精准推荐理由或答案,降低服务成本,尤其适合用户触达、消息推送等延迟敏感的业务。
- Agent 训练稳定性:KPop 异步 RL 调度框架可借鉴到多步搜索 Agent 的训练中,通过异步采集搜索、工具调用、工作流执行等环境交互数据,提升样本利用率和训练吞吐,适合构建能自主调用商品检索、价格对比等工具的购物助手。
- 业务模型迁移升级:论文从已有模型(Ling-2.0)通过架构迁移和继续训练而非从头预训练的方法,对于已有推荐/对话模型向 Agent 方向升级提供了一个低成本路径,避免全量重训。
FastContext:为编程智能体训练高效的仓库探索器
🧭 Agent子代理专化与token效率优化
Microsoft · Shanghai Jiao Tong University
将仓库探索与任务求解分离,用专用小模型子代理并行搜索,最高提升5.5%解决率并削减60% token消耗
📌 工作参考价值(4 点)
- 在大模型推荐Agent中,可把商品库检索、用户画像查询等上下文探索任务交给专用小模型子代理,通过并行工具调用快速返回相关片段,避免主模型上下文爆炸和token浪费。
- 采用“强模型轨迹引导 + 任务奖励微调”两阶段训练法,利用大模型生成高质量探索路径,再在业务数据上微调小模型,低成本定制垂直领域(如电商搜索、广告定向)的探索器。
- 分离探索与推理的架构思想可直接迁移:设计“探索员-求解员”模式,探索员专注信息收集并返回带精确引用的证据,求解员仅做决策,可提升系统响应速度和决策准确性。
- token消耗降低60%的结论提示,在线上高并发推荐或对话场景中,通过精简上下文输入可大幅降低推理成本,且小模型额外开销极小,适合成本敏感业务。
每个多模态证据一个Token:面向资源受限问答的潜在记忆
🧭 潜在记忆表示 · 多模态RAG效率优化 ★ 深度解读
National University of Singapore
提出 Latent Memory,将多模态证据压缩为单潜在Token进行检索与生成,以3-10倍更少生成Token达到竞争性能。
📌 工作参考价值(4 点)
- 多模态商品/内容压缩:在电商搜索或推荐中,将商品图文、详情页等证据压缩为单个潜在Token,存储和生成成本大幅降低,同时通过联合训练保留检索和生成所需的信息。
- Agent记忆管理:借鉴 Latent Memory 将Agent交互历史、工具返回等多模态证据压缩为潜在Token库,支持高速相似性检索和直接注入生成,适合资源敏感的端侧Agent。
- 三目标训练范式:重建(保持内容)+ 对比(对齐查询与证据)+ 蒸馏(适配冻结生成器)的联合优化,可迁移至其他需要连续表示与检索的场景,如对话状态压缩、用户行为建模。
- 跨域泛化:在 HotpotQA 训练的压缩器直接用于多领域QA,表明压缩出的潜在Token具有良好迁移性,可借鉴以降低电商跨品类/跨场景的重复训练成本。
多智能体系统高效通信协议 PACT:用行动-状态记录替代自由文本
🧭 Agent · 多智体通信协议优化 ★ 深度解读
Singapore University of Technology and Design
提出 PACT 协议,将智能体间消息压缩为行动-状态-结果三字段,在保持性能的同时大幅减少 token 消耗
📌 工作参考价值(4 点)
- 在电商推荐的多智能体协作(如 query 改写、策略规划)中,可将智能体间通信设计为“行动-状态-结果”三字段,去除冗余推理,降低上下文长度和 API 成本。
- PACT 作为推理时协议,无需更改模型或训练,可直接通过代理钩子集成到现有 Agent 框架(如 LangChain、AutoGen),实现紧凑通信。
- 对于使用推理模型的 Agent 系统,解耦私有计算与公共通信可以避免将冗长的推理 trace 反复暴露给下游,缓解上下文窗口耗尽风险。
- 在长上下文任务(如代码生成、对话规划)中,仅传递结构化关键信息能显著减少输入 token,提升解析率,在 SWE-agent 上每解析 token 降低 47%。
暗森林:通过受控通信提升多智能体大模型推理精度
🧭 多智能体LLM协作 · 受控通信与证据校准 ★ 深度解读
University of Texas at Dallas · Independent Researcher · University of California, Davis
提出受控通信框架 DarkForest,通过独立生成、校准信念和紧凑证据披露,在六个推理基准上取得领先精度,通信量降低高达 6.5 倍。
📌 工作参考价值(4 点)
- 在多智能体投票/决策中,用校准信念代替简单多数投票:引入代理历史可靠性(α)、联合模式可靠性(R)、置信度重加权(ϕ)、解析质量折扣(ρ)和独立性校正(δ),生成后验分布指导最终选择,可减少电商推荐中多模型融合的误判。
- 限制代理间通信:只向协调者暴露紧凑的候选摘要、支持模式和后验边距,不传递完整推理链,直接降低 token 消耗和延迟,适合高吞吐的在线 Agent 系统。
- 采用“独立生成 + 协调者 + 确定性守卫”架构:协调者基于证据做出决策,只有当信念状态强烈支持某一候选且与协调者输出冲突时才触发守卫,防止强证据被大模型输出的随机性覆盖,可借鉴到客服/推荐的多路召回后融合。
- 离线校准参数(可靠性、折扣因子等)无运行时额外开销:对电商 Agent 的历史行为日志进行离线统计即可建立代理可信度表,部署时不增加模型调用成本。